在科技日新月異的今天

AI作為引領未來的戰略性技術

正加速驅動新一輪科技革命和產業變革

從文本、語音到圖像、視頻

多模態AI不僅重塑了人機交互的邊界

更孕育出全新的“智能體”形態

AI日漸成為構建萬物互聯世界的關鍵一環

如何確保AI技術安全、可靠、可控

值得各界持續關注、協同共治、防范化解

近日，《人民日報》學術版聚焦“深化人工智能安全監管”話題，整版刊登了三位知名學者的見解，引發熱議。在剛剛結束的2024年世界互聯網大會烏鎮峰會上，人工智能安全、風險問題再次受到廣泛關注。

作為網絡安全頭部企業，天融信始終認為，AI技術發展和其他新興技術一樣，也是一把“雙刃劍”。在推動AI技術創新的過程中，安全始終是最根本的保障。

AI安全風險和挑戰日益嚴峻 | 未雨綢繆勢在必行

今年是中國全功能接入國際互聯網30周年，AI成為中國互聯網發展的新引擎。無論是智能制造、智能駕駛，還是智慧醫療、智慧城市，AI技術的廣泛應用為經濟社會帶來了巨大的變革。然而，隨著AI應用場景日漸豐富，產業生態持續完善，基于AI的機器學習、通用大模型、智能體、具身智能等融入互聯網，技術復雜性和依賴性不斷增加，帶來的安全風險也日益突出，必須提前布局安全對策。

對抗樣本和多模態攻擊

挑戰描述：利用圖像、聲音、文本等多種形式的數據組合，通過在數據中添加干擾，精心設計復雜的對抗性樣本，誘導AI系統做出錯誤判斷。

應對策略：以先進的數據增強和對抗訓練技術為盾，增強AI模型的魯棒性，讓模型學會更好地抵御對抗性攻擊和異常輸入，守護多模態安全。

模型盜用和逆向工程

挑戰描述：黑客利用逆向工程技術，竊取AI模型的核心參數，構建相似系統以繞過安全檢測，利用模型輸出結果等反向推導出客戶隱私數據。

應對策略：采用加密技術為AI模型參數穿上“隱身衣”，同時實施嚴格的訪問控制策略，限制只有經過授權的人員才能訪問和修改AI系統模型。

數據與隱私泄露

挑戰描述：人工智能算法和模型依賴于大量訓練數據，一旦發生隱私泄露，犯罪分子可以通過聲音仿真、AI換臉等手段實施詐騙。

應對策略：運用差分隱私技術，在保護客戶隱私的同時，確保數據能夠用于訓練高質量的AI模型，實現安全與效率的雙重保障。

法律與倫理困境

挑戰描述：AI系統模糊了物理現實、數字和個人的界限，由于其決策過程缺乏透明度，導致責任歸屬不清，引發法律與倫理爭議。

應對策略：通過可解釋性AI技術，提高AI系統的透明度，讓用戶能夠理解AI決策背后的邏輯，從而增強系統的可信度和合規性。

構建安全體系框架 | 護航AI系統全生命周期安全

為應對日益復雜的AI安全風險，需要構建系統性、全局化、多維度的安全體系框架。憑借在“AI+安全”領域十余年的行業經驗，天融信基于對AI安全風險的深入研究，構建以安全可靠、公平可信、透明可解釋、數據隱私保護和溯源審計為核心的人工智能安全體系框架，圍繞人工智能系統從開發、部署到應用的全生命周期，全方位護航AI的安全應用和健康發展。

● 監督管理

遵循《生成式人工智能服務管理暫行辦法》《生成式人工智能服務安全基本要求》《互聯網信息服務深度合成管理規定》《互聯網信息服務算法推薦管理規定》等法規政策和標準規范，確保AI技術的開發與應用始終合法合規。通過國家層面的政策法規與企業層面的管理制度，為AI安全措施的有效實施提供堅實保障。

● 技術防護

采用多層次AI安全技術，全面抵御各類安全風險，具體包括：利用加密技術和訪問控制策略，防止數據泄露和濫用；依賴加密算法、模型防篡改等技術，確保模型在訓練和推理過程中的安全性和可靠性；通過嚴格的權限管理和訪問控制，防止未經授權的訪問和操作；通過安全性審查和代碼審查，確保AI框架本身不被惡意利用或攻擊；通過硬件、軟件、網絡等多方面安全防護措施，確保系統安全穩定運行。

● 運營保障

重視AI開發安全、AI運行安全和AI供應鏈安全，全方位保障AI系統全生命周期安全，具體措施包括：關注代碼審查和安全測試，通過持續集成和部署流程，有效防止安全漏洞和缺陷的產生；通過實時監控、日志分析和異常檢測等手段，及時發現和處理安全事件；通過嚴格的供應鏈管理、供應商評估和合規性審查，確保供應鏈中的每個環節都符合安全標準。此外，AI模型安全能力成熟度不斷提升，將助力企業持續優化安全運營能力。

● 合規測評

注重合規管控，通過多維度措施確保AI系統在不同階段、不同層次的合規性。通過制定詳細的合規政策和管理體系，確保AI系統的設計和實施符合相關法律法規和行業標準的要求。同時，通過滲透測試、代碼審計和風險評估等評估手段，對AI系統進行科學、準確的安全評估，幫助企業及時發現并消除潛在安全隱患。

推進“AI+安全”落地實踐 | 讓日益“智能”的網絡攻擊無處遁形

基于人工智能安全體系框架，天融信打造出完整的企業級“AI+安全”能力體系模型，為客戶提供全系統、全方位、全周期的AI安全解決方案。方案涵蓋威脅檢測、安全運營、知識問答以及算力管理等多個維度，集智能檢測、響應和學習于一體，支持隨時啟動自動防御和反擊程序，并通過自我學習成為客戶的得力助手，輔助安全決策和行動，不斷提升安全防護的智能化水平。

● 火眼金睛：智能檢測與響應

利用深度學習算法構建智能檢測引擎，如同孫悟空的火眼金睛一般，通過實時監控網絡流量，快速識別惡意軟件、異常登錄等安全事件。在某能源公司的數據中心，天融信利用基于AI的樣本檢測、情報抽取與分析技術能力，協助客戶在第一時間發現并阻止潛在威脅，有效避免了安全事件的發生。

● 自動反擊：安全編排自動化與響應

針對復雜的安全事件處置流程，天融信開發了融入AI的SOAR方案，可實現自動化安全運營和智能化模型編排，通過多個安全工具的無縫集成與標準化、自動化響應，助力安全分析師從海量告警中精準篩選出關鍵問題，從而提高工作效率。在一次實際應用中，一家大型零售商在促銷期間遭遇DDoS攻擊，天融信利用SOAR方案協助客戶迅速定位攻擊源并采取有效措施，短短幾分鐘便恢復了網站服務。

● 智能學習：用戶和實體行為分析

基于用戶和實體行為分析(UEBA)技術，可以利用先進的AI算法，結合機器學習、建模分析、畫像檢測等技術構建實體畫像，通過建立每個用戶和實體的行為安全基線，學習正常用戶操作模式，智能識別攻擊行為，及時發現并預警潛在內部威脅。某運營商信息系統部署了融合AI和UEBA技術的數據安全監測分析平臺，敏銳捕捉到了某員工賬戶的異常訪問行為，最終揭露了一起內部人員竊取敏感信息的惡性事件。

● 輔助運營：天融信天問大模型

天融信天問大模型集成了海量的安全數據和專業知識，具備知識生成和邏輯推理能力，同時運用深度學習和自然語言處理技術，打造安全智能體，為安全管理者提供實時、精準的決策支持。當檢測到異常流量或潛在威脅時，天融信天問大模型能夠迅速調用歷史數據，進行深度分析，并推薦最佳應對策略。

TOPSEC

未來，網絡安全建設將步入“人+機器”緊密協作的新紀元。在天融信看來，將安全技術與個性化需求深度融合，能夠讓AI安全日漸成為大眾日常生活的一部分。想象一下，當你沉浸于工作中時，收到一封可疑郵件，你的手機立即溫馨提醒：“請注意！這封郵件可能包含詐騙信息?！边@樣的場景已經不再遙不可及，而是天融信正在逐步實現的愿景。

AI網絡安全不是單打獨斗的競技場，而是需要全體參與者并肩作戰的集體戰斗。面對這一充滿挑戰與機遇的行業新風口，天融信愿與業界同仁攜手攻堅，共同構建以安全為核心的AI創新發展新格局，推動AI技術更廣泛、更深遠地應用于社會生活的各個層面，為我國數字經濟高質量發展提供強有力的支撐。